Stereo Matching for Pushbroom Stereo Cameras

A parallel stereo matching algorithm is presented which is mainly thought for the processing of images from pushbroom stereo cameras. The algorithm is designed for non-epipolar geometry, because of disturbances of flight attitude and velocity. Existing epipolar algorithms can give a first estimation of disparities in epipolar (x-) direction, but the recursive algorithm can also start with zero-disparity initial condition if the disparities are not too big. The algorithm minimizes locally a certain least squares distance of a stereo image pair using the method of steepest descent leading to a recursive disparity updating. To diminish ambiguities a pyramid with Gaussian image smoothing together with other measures (e.g. exploiting the ordering constraint and applying edge preserving disparity smoothing) is used. The presented matching algorithm is parallel in space and sequential in time. Therefore, when suitable parallel processing hardware (with one processing element assigned to each pixel) will be available then real-time stereo processing becomes possible. Some examples demonstrate the capabilities of the algorithm but also the remaining difficulties. KURZFASSUNG Ein paralleler Algorithmus zur Stereo-Bildzuordnung, der hauptsächlich für die Verarbeitung von Bilddaten von Pushbroom-Zeilenkameras gedacht ist, wird präsentiert. Der Algorithmus wurde wegen vorkommender Störungen der Fluglage und –geschwindigkeit für nicht-epipolare Geometrie konzipiert. Vorhandene epipolare Verfahren können für eine erste Schätzung der Parallaxen in epipolarer (x) Richtung verwendet werden, aber der rekursive Algorithmus erbeitet auch ohne derartige Schätzwerte, wenn die Parallaxen nicht zu groß sind. Der Algorithmus minimiert lokal einen gewissen Abstand eines Stereo-Bildpaares durch Anwendung der Methode des steilsten Abstiegs. Dies führt zu einem rekursiven updating der Parallaxen. Zur Verminderung von Mehrdeutigkeiten wird eine Gaußsche Pyramide zusammen mit anderen Maßnahmen (Reihenfolgebeschränkung – ordering constraint, kantenerhaltende Glättung von Parallaxen) verwendet. Der Algorithmus ist räumlich parallel und zeitlich sequentiell und kann daher, wenn geeignete Parallelverarbeitungs-Hardware (mit einem Prozessorelement pro Pixel) verfügbar ist, Echtzeit-Stereoverarbeitung gewährleisten. Einige Beispiele zeigen die Fähigkeiten des Verfahrens und seine Mängel.